Amazon Forecastにwhat-if分析機能が追加：関連する時系列データが変化した際の動きを分析可能になりました
こんちには。
データアナリティクス事業本部機械学習チームの中村です。
今回はAmazon Forecastの新機能であるwhat-if分析についてご紹介します。
AWS公式ブログでは以下の記事で紹介されています。
Amazon Forecastの概要
まずAmazon Forecastの概要をおさらいします。
Amazon Forecastは時系列データを予測するサービスです。
入力できる情報には以下の３種類があります。
- TARGET_TIME_SERIES(TTS)
- 予測対象(ターゲット)となる時系列データ。(例: 需要予測の場合は需要のデータ)
- 時系列で変化しない情報(例: 店舗ID)を含めることで分析軸を追加可能。
- RELATED_TIME_SERIES(RTS)
- 関連する時系列データ。(例: 需要予測の場合は価格など)
- TTSに付加した分析軸はこちらにも追加が必要。
- ITEM_METADATA
- アイテムのメタデータを追加することが可能。(例: 商品のブランドなど)
TTSは全てのケースでおいて必須のデータですが、what-if分析ではRTSも必要となります。
what-if分析とは
what-if分析はRTSが変化した際に、TTSがどのように変化するかを分析するための機能です。
例えば「需要予測」の場合は、「需要(TTS)」とは別の関連する時系列データである「価格(RTS)」を過去に遡って下げたと仮定した場合に、 予測した「需要(TTS)」がどの程度変化するのかを分析することが可能になります。
また、Amazon Forecastにかかる費用は以下の通りです。
- データのインポート
- Predictorのトレーニング
- 予測したデータポイント数
- 予測の説明
このうち、What-if分析はデータポイントを予測するため、「予測したデータポイント数」の部分にコストが掛かってくるのでご注意ください。
(実際本記事の通りに実行すると、60ドル程度は必要になりますので留意頂ければと思います)
what-if分析のトライ
今回関連するリソースは以下のような階層構造になっています。
What-if分析に相当するのは、オレンジ部分で、一旦Forecastまで作成した上で構築する必要があります。
S3の準備
事前にバケット作成しておきます。(今回は以下)
- バケット名: sample-nakamura-2022-09-09-forecast
以下のGitHubに、公開されているデータセットがあります。
ここから以下の２つのファイルをダウンロードします。
- consumer_electronics_TTS.csv
- consumer_electronics_RTS.csv
これらをS3のそれぞれアップロードしておきます。(今回は以下)
- s3://sample-nakamura-2022-09-09-forecast/target/consumer_electronics_TTS.csv
- s3://sample-nakamura-2022-09-09-forecast/related/consumer_electronics_RTS.csv
Dataset group作成
「View dataset groups」を押下し、データセットグループ一覧を表示します。
「Create dataset group」を押下します。
Dataset groupの情報を以下のように入力し、末尾の「Next」を押下します。
- Dataset group name: sample_nakamura_what_if_dsg
- Forecasting domain: Custom
Dataset(ターゲット側)作成
Datasetの情報を以下のように入力します。
- Dataset name: sample_nakamura_what_if_tts
- Frequency of your data: 1 months
- Data schema: JSON builderをチェック
またJSON schemaには以下を設定し、Timestamp formatにはyyyy-MM-ddを設定します。
{
"Attributes": [
{
"AttributeName": "item_id",
"AttributeType": "string"
},
{
"AttributeName": "store_id",
"AttributeType": "string"
},
{
"AttributeName": "timestamp",
"AttributeType": "timestamp"
},
{
"AttributeName": "target_value",
"AttributeType": "float"
}
]
}
Dataset importの設定は以下とします。
- Dataset import name: sample_nakamura_what_if_tts_import
- Select time zone: Do not use time zone
- Import file type: CSV
- Data location: s3://sample-nakamura-2022-09-09-forecast/target/consumer_electronics_TTS.csv
IAM roleは、Create a New Roleを選択すると以下のダイアログがでるので、
Specific S3 bucketsを以下のように設定して、「Create role」を押下します。
- sample-nakamura-2022-09-09-forecast
ちなみに作成されるロールにアタッチされるポリシーは以下のようになります。
(書き込み権限もあるので、後述のエクスポート時もこちらを使用していきます。)
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:ListBucket"
],
"Effect": "Allow",
"Resource": [
"arn:aws:s3:::sample-nakamura-2022-09-09-forecast"
]
},
{
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:DeleteObject"
],
"Effect": "Allow",
"Resource": [
"arn:aws:s3:::sample-nakamura-2022-09-09-forecast/*"
]
}
]
}
ロールが作成されるので、その後「Start」を押下します。
その後Importが開始されます。
Dataset group一覧から作成したDataset groupを選択すると、
直後は「Create pending」となっているため、以下のようにActiveとなるまで待ちます。
Dataset(関連データ側)作成
what-if分析には、Related time series dataが必要となるため、上記の画面で「Import」を押下します。
Datasetの情報を以下で入力します。
- Dataset name: sample_nakamura_what_if_rts
- Frequency of your data: 1 months
- Data schema: JSON builderをチェック
またJSON schemaには以下を設定し、Timestamp formatにはyyyy-MM-ddを設定します。
{
"Attributes":[
{
"AttributeName":"item_id",
"AttributeType":"string"
},
{
"AttributeName":"store_id",
"AttributeType":"string"
},
{
"AttributeName":"timestamp",
"AttributeType":"timestamp"
},
{
"AttributeName":"price",
"AttributeType":"float"
},
]
}
Dataset importの設定は以下とします。
- Dataset import name: sample_nakamura_what_if_rts_import
- Select time zone: Do not use time zone
- Import file type: CSV
- Data location: s3://sample-nakamura-2022-09-09-forecast/target/consumer_electronics_RTS.csv
IAM roleは、先ほどと同じロールを指定します。(データ格納先のバケットは同じの場合)
その後「Start」を押下します。
Importが始まるので、先ほどと同様にRelated time series dataが「Active」となるまで待ちます。
Predictor作成
次にPredictorを作成します。先ほどの画面で、Predictor trainingの横にある「Start」を押下します。
Predictor settingsは以下の値で設定します。
- Predictor name: sample_nakamura_what_if_predictor
- Forecast frequency: 1 month(s)
- Forecast horizon: 3
- Forecast dimensions: store_id
- Forecast quantiles:
- Forecast quantile: Forecast quantile 1, Value: 0.10
- Forecast quantile: Forecast quantile 2, Value: 0.50
- Forecast quantile: Forecast quantile 3, Value: 0.90
他はデフォルトのまま、ページ下部の「Create」を押下します。
すると、Trainingが開始され、Predictor一覧で残り時間が表示されます。
(今回は２時間程度必要でした)
Forecast作成(予測の実行)
Predictor一覧から作成したPredictorを選択すると、「Create forecast」ボタンがありますので、
そこで予測を実行します。
Forecast detailsは以下の値で設定します。
- Forecast name: sample_nakamura_what_if_forecast
- Predictor: sample_nakamura_what_if_predictor
- Item for generating forecasts: All Items
作成が開始されるので、結果を待ちます。
(残り時間が表示され、今回は40分程度かかりました)
作成が終わったら、forecastを選択し、以下の「Create forecast export」を押下します。
Export detailsで以下を入力します。
- Export name: sample_nakamura_what_if_forecast_export
- IAM role: インポート時に作成したものと同じロールを指定
- Export file type: CSV
- S3 forecast export location: s3://sample-nakamura-2022-09-09-forecast/export
ページ下部の「Create Export」を押下して完了を待ちます。
what-if分析の作成
ダッシュボード画面からwhat-if分析が作成できます。「Explore what-if analysis」を押下します。
「Create」を押下します。
What-if analysis detailsを以下のように設定します。
- What-if analysis name: sample_nakamura_what_if_analysis
- Select forecast: sample_nakamura_what_if_forecast
- Item selection: Select all items
ページ下部の「Create what-if analysis」を押下します。
しばらく経過すると、What-if analysisのStatusがActiveとなります。
what-if分析のForecast作成(予測の実行)
上記の画面から、What-if forecastの「Create」を押下して進みます。
What-if forecast detailsに以下を入力します。
- What-if forecast name: sample_nakamura_what_if_analysis_forecast
- What-if forecast definition method: Use transformation functions
- Transformation function builder:
- Action
- Operation: MULTIPLY, AttributeName: price, Value: 0.90
- Conditions:
- AttributeName: timestamp, AttributeValue: 2019-09-01, Condition: GREATER_THAN
上記の設定内容は、2019-09-01以降のpriceデータに0.9を乗算した場合に、
Targetがどのように変化するかを、What-if分析するような記述となっています。
なお、数式で表現できないような値を設定したい場合は、
definition methodに「Define the what-if forecast with a replacement dataset」を選択し、
データを置き換えたRelated Time SeriesデータをS3からImportすることで、What-if分析をすることが可能です。
入力をしたらページ下部の「Create」を押下します。
すると以下のように作成中となるので、しばらく待ちます。
StatusがActiveとなったら、ページ下部に移動し、以下のWhat-if forecast exportで
「Create export」を押下します。
インポート時に作成したものと同じロールを指定
Export detailsで以下を入力します。
- Export name: sample_nakamura_what_if_analysis_forecast_export
- What-if forecasts: sample_nakamura_what_if_analysis_forecast
- S3 forecast export location: s3://sample-nakamura-2022-09-09-forecast/export_what_if
- IAM role: インポート時に作成したものと同じロールを指定
ページ下部の「Create Export」を押下して完了を待ちます。
結果の比較
エクスポート結果をダウンロードして比較していきます。
aws s3 cp s3://sample-nakamura-2022-09-09-forecast/export ./export --recursive aws s3 cp s3://sample-nakamura-2022-09-09-forecast/export_what_if ./export --recursive
可視化のため、Pythonのコードを準備しました。
import pathlib
import pandas as pd
from matplotlib import pyplot as plt
import seaborn as sns
sns.set(style='darkgrid')
from datetime import datetime
# 学習データ読み込み
tts_df = pd.read_csv("./consumer_electronics_TTS.csv")
# 推論結果読み込み
def read_csv_files(src_path: str):
df = pd.DataFrame([])
for p in pathlib.Path(src_path).glob("*.csv"):
# print(p)
_df = pd.read_csv(p)
if len(df)==0:
df = _df
else:
df = pd.concat([df, _df], axis=0)
df = df.sort_values(['item_id', 'store_id', 'date']).reset_index(drop=True)
df['yyyy-mm-dd'] = [i[:10] for i in df['date']]
return df
base_df = read_csv_files("./export")
whatif_df = read_csv_files("./export_what_if")
# 描画
query_str = 'item_id == "item_001" and store_id == "store_001"'
fig, axes = plt.subplots(2, 1, figsize=(10, 6), dpi=100, sharex="col")
fig.suptitle(query_str)
ax = axes[0]
sns.lineplot(data=tts_df.query(query_str), x='timestamp', y='demand', marker="o", ax=ax, label="train(target)", color=colors[0])
sns.lineplot(data=base_df.query(query_str), x='yyyy-mm-dd', y='p50', marker="o", ax=ax, label="forecast(p50)", color=colors[1])
sns.lineplot(data=whatif_df.query(query_str), x='yyyy-mm-dd', y='sample_nakamura_what_if_analysis_forecast_p50', marker="o", ax=ax, label="what-if-forecast(p50)", color=colors[2])
ax.set_ylim([100, 500])
ax = axes[1]
sns.lineplot(data=rts_df.query(query_str), x='timestamp', y='price', marker="o", ax=ax, label="train(related)", color=colors[0])
sns.lineplot(data=rts_df.query(query_str).query('timestamp > "2019-09-01"'), x='timestamp', y='price_whatif', marker="o", ax=ax, label="what-if", color=colors[2])
[i.set_rotation(90) for i in ax.get_xticklabels()]
ax.set_ylim([40, 150])
plt.tight_layout()
plt.tight_layout()
結果は以下のようになります。(item_id: "item_001", store_id: "store_001"の場合)
上のdemandが予測対象となる時系列データで、下のpriceがRelatedな時系列データとなる情報です。
demand, priceそれぞれ青線で描かれている箇所がPredictorの学習に使用されています。
オレンジ線は、通常のPredictorのForecast結果(p50)で、これがベースラインとなります。
グリーン線がwhat-if分析に関するデータで、priceが0.9掛けだったら、
demandにどのような影響がでるかを確認できます。
影響としては、priceが低下すると、demandが上昇するといったような予測をしているようです。
これは、学習に使用したdemandとpriceが逆相関を持っていることをうまく反映しています。
この結果は、item_id、store_idごとにそれぞれ影響度を確認することが可能です。
興味のある方は他のケースも確認してみてください。
まとめ
いかがでしたでしょうか？
what-if分析で、過去を振り返って様々な仮説を検証することができるので、分析の幅が広がりそうですね。
Amazon Forecastをご利用の方は是非お試しください。
こちらの記事がAmazon Forecastを活用する際の参考になれば幸いです。
